本发明涉及神经工程技术领域,具体涉及一种基于眼电信号的阅读状态识别方法及装置。该阅读状态识别方法包括步骤:S1.采集受试者眼电信号并进行预处理;S2.结合形态学算法对预处理后的眼电信号进行平滑处理;S3.提取各个阅读阶段对应的特征脉冲;S4.根据所述特征脉冲判读受试者是否处于阅读状态。本发明利用形态学算法对采集到的眼电信号进行平滑处理后,从中提取各个阅读阶段对应的特征脉冲,最后根据所述特征脉冲判读受试者是否处于阅读状态。本发明能够有效识别出阅读活动,同时具有方便快捷的优点;由于排除了主观因素的影响,因此可以提供准确的客观数据供日常生活中的阅读行为研究或者为临床诊断及阅读障碍患者的治疗提供帮助。
1.一种基于眼电信号的阅读状态识别方法,其特征在于,包括步骤:S1.采集受试者眼电信号并进行预处理;S2.结合形态学算法对预处理后的眼电信号进行平滑处理;S3.提取各个阅读阶段对应的特征脉冲;S4.根据所述特征脉冲判读受试者是否处于阅读状态;所述步骤S1包括:S101.在受试者眼部两侧分别设置有检测电极,每个检测电极分别接收并口同步信号;S102.对所有检测电极采集到的眼电信号经过放大以及数模转换后进行去基线处理;S103.根据所述并口同步信号为去基线处理后的眼电信号中每个眼电电位标定时间;所述步骤S2包括:S201.从预处理后的眼电信号中选取延迟值长度结构元素;S202.将眼部两侧的检测电极各自得到的眼电信号做差处理后得到水平眼电信号;S203.根据所述延迟值长度结构元素,利用形态学算法,对所述水平眼电信号进行平滑处理;所述步骤S203包括:根据所述延迟值长度结构元素,对所述水平眼电信号依次进行开操作的腐蚀运算、膨胀运算以及闭操作的腐蚀运算、膨胀运算;所述步骤S3包括:S301.对平滑处理后的眼电信号进行差分处理;S302.设定回视脉冲选取阈值以及扫视脉冲选取阈值;S303.根据所述回视脉冲选取阈值以及扫视脉冲选取阈值从差分处理后的眼电信号中提取回视脉冲和其发生时刻以及扫视脉冲和其发生时刻;所述步骤S4包括:设定判断阈值;若相邻回视脉冲之间的扫视脉冲个数不小于所述判断阈值,则认为受试者处于阅读状态。
2.根据权利要求1所述的阅读状态识别方法,其特征在于,所述步骤S301中差分处理的差分时间窗长度为0.015秒-0.075秒。
3.根据权利要求1所述的阅读状态识别方法,其特征在于,所述扫视脉冲选择阈值为差分处理后的眼电信号最大值相反数的百分之三至百分之十,所述回视脉冲选择阈值为差分处理后的眼电信号最大值的百分之十五至百分之三十五。技术领域
本发明涉及神经工程技术领域,具体涉及一种基于眼电信号的阅读状态识别方法及装置。xa0
背景技术
阅读是一种重要的认知过程。阅读是借助感官,通过思考来了解文字符号所表达的内容,并以理解文字意义为中心的智力活动。阅读目标决定阅读态度,而阅读态度影响阅读效果。xa0阅读时视觉信息来自眼睛。阅读时阅读者的眼睛活动可以分为回视、扫视、注视等几个步骤;研究表明,阅读者在阅读时不同的眼睛活动会产生不同特征的眼动波形;因此可以通过观测眼动行为来分析阅读行为。目前,很多学者通过分析眼动数据对阅读时的信息处理过程进行研究;特别地,眼动行为的分析对于阅读障碍患者的成病原因有着重要的参考价值。xa0在眼动检测的几种方法中,眼电技术具有成本低、便于操作的优势;这是因为眼睛可以看作是一个角膜端带正极,视网膜端带负极的偶极子,眼睛的运动会产生电压;这种在视网膜色素上皮和光感受细胞之间存在的视网膜静电信号被称为眼电信号;而眼电信号可以通过在眼睛周围放置检测电极直接检测。因此一种基于眼电信号的阅读状态识别方法及装置是非常具有可行性以及实用性的。xa0
发明内容
(一)要解决的技术问题xa0本发明的目的在于提供一种基于眼电信号的阅读状态识别方法及装置,用于客观、方便的检测阅读者的阅读状态,一方面为日常生活中的阅读行为研究提供技术支持,另一方面可以为临床诊断及xa0阅读障碍患者的治疗提供帮助。xa0(二)技术方案xa0本发明技术方案如下:xa0一种基于眼电信号的阅读状态识别方法,包括步骤:xa0S1.采集受试者眼电信号并进行预处理;xa0S2.结合形态学算法对预处理后的眼电信号进行平滑处理;xa0S3.提取各个阅读阶段对应的特征脉冲;xa0S4.根据所述特征脉冲判读受试者是否处于阅读状态。xa0优选的,所述步骤S1包括:xa0S101.在受试者眼部两侧分别设置有检测电极,每个检测电极分别接收并口同步信号;xa0S102.对所有检测电极采集到的眼电信号经过放大以及数模转换后进行去基线处理;xa0S103.根据所述并口同步信号为去基线处理后的眼电信号中每个眼电电位标定时间。xa0优选的,所述步骤S2包括:xa0S201.从预处理后的眼电信号中选取延迟值长度结构元素;xa0S202.将眼部两侧的检测电极各自得到的眼电信号做差处理后得到水平眼电信号;xa0S203.根据所述延迟值,利用形态学算法,对所述水平眼电信号进行平滑处理。xa0优选的,所述步骤S203包括:xa0根据所述延迟值长度结构元素,对所述水平眼电信号依次进行开操作的腐蚀运算、膨胀运算以及闭操作的腐蚀运算、膨胀运算。xa0优选的,所述步骤S3包括:xa0S301.对平滑处理后的眼电信号进行差分处理;xa0S302.设定回视脉冲选取阈值以及扫视脉冲选取阈值;xa0S303.根据所述回视脉冲选取阈值以及扫视脉冲选取阈值从差分处理后的眼电信号中提取回视脉冲和其发生时刻以及扫视脉冲和其发生时刻。xa0优选的,所述步骤S301中差分处理的差分时间窗长度为0.015秒-0.075秒。xa0优选的,所述扫视脉冲选择阈值为差分处理后的眼电信号最大值相反数的百分之三至百分之十,所述回视脉冲选择阈值为差分处理后的眼电信号最大值的百分之十五至百分之三十五。xa0优选的,所述步骤S4包括:xa0设定判断阈值;若相邻回视脉冲之间的扫视脉冲个数不小于所述判断阈值,则认为受试者处于阅读状态。xa0本发明还提供了一种基于眼电信号的阅读状态识别装置:xa0一种基于眼电信号的阅读状态识别装置,包括依次连接的眼电信号采集模块、眼电信号处理模块、特征脉冲提取模块以及阅读状态判断模块;xa0所述眼电信号采集模块采集受试者的眼电信号并发送至所述眼电信号处理模块;所述特征脉冲提取模块对经所述眼电信号处理模块平滑处理后的眼电信号进行差分处理,并提取各个阅读阶段对应的特征脉冲;所述阅读状态判断模块根据所述特征脉冲判读受试者是否处于阅读状态。xa0优选的,所述眼电信号采集模块包括分别设置于受试者眼部两侧的多个检测电极、设置于受试者乳突的参考电极、设置于受试者额头的接地电极以及分别向每个电极发送并口同步信号的上位机。xa0(三)有益效果xa0本发明的一种基于眼电信号的阅读状态识别方法通过利用形态学算法对采集到的眼电信号进行平滑处理后,从中提取各个阅读阶段对应的特征脉冲,最后根据所述特征脉冲判读受试者是否处于阅xa0读状态。本发明能够有效的识别出阅读活动,同时具有方便快捷的优点;由于排除了主观因素的影响,因此可以提供准确的客观数据供日常生活中的阅读行为研究或者为临床诊断及阅读障碍患者的治疗提供帮助。xa0
附图说明
图1是本发明的一种基于眼电信号的阅读状态识别方法流程示意图;xa0图2是本发明的一种基于眼电信号的阅读状态识别装置的眼电信号采集模块示意图;xa0图3是根据本发明的方法统计的不同阅读阶段的时间分布直方图;xa0图4是根据本发明的方法统计的不同阅读阶段的眼电信号振幅分布直方图;xa0图5是根据本发明的方法统计的不同阅读阶段的次数分布直方图。xa0图中:1:检测电极;2:接地电极。xa0
具体实施方式
下面结合附图和实施例,对发明的具体实施方式做进一步描述。以下实施例仅用于说明本发明,但不用来限制本发明的范围。xa0实施例一xa0流程图如图1所示的一种基于眼电信号的阅读状态识别方法,主要包括步骤:xa0S1.通过采集设备采集受试者眼电信号,并将采集到的眼电信号进行预处理,便于后续分析;该步骤主要包括:xa0S101.在受试者眼部位置设置两个检测电极,检测电极分别位于左眼左侧和右眼右侧,通过计算机向每个检测电极分别发送并口同步信号,每个检测电极接收并口同步信号;xa0S102.通过检测电极采集眼电信号;对所有检测电极采集到的眼电信号进行放大以及数模转换后发送至计算机;计算机接收眼电信号并对其进行去基线处理,以使眼电信号成为平稳的、均值接近为0的信号。xa0S103.根据所述并口同步信号为去基线处理后的眼电信号中每个眼电电位标定时间;即将去基线处理后的眼电信号中的每个眼电电位和与其对应的并口同步信号的时刻对齐。xa0S2.结合形态学算法对预处理后的眼电信号进行平滑处理;该步骤主要包括:xa0S201.从预处理后的眼电信号中选取合适的延迟值长度结构元素;延迟值的选取视不同的测试任务而不同,本实施例中,根据形态学算法平滑处理的主要目的是去除眨眼的干扰,而一般情况下眨眼的持续时间小于0.2s左右,如果采集过程中数据采样率为1000Hz,可以设置延迟值为200,对应时间长度为0.2s,结构元素为一维向量,其根据预处理后的眼电信号的特征波形形状选取;本实施例中选取的结构元素为长度为200的零向量。xa0S202.将眼部两侧的检测电极各自得到的眼电信号做差处理后得到水平眼电信号;由于本实施例采用2个电极采集眼电信号,可以将左眼左侧检测电极采集得到的眼电信号记为O₁,将右眼右侧检测电极采集得到的眼电信号为O₂,则做差处理后得到的水平眼电信号X=O₁-O₂;xa0S203.根据所述延迟值长度结构元素,利用形态学算法,对所述水平眼电信号进行平滑处理;平滑处理主要是对所述水平眼电信号依次进行开操作的腐蚀运算、膨胀运算以及闭操作的腐蚀运算、膨胀运算;本实施例中具体为:将水平眼电X按(1)式进行数学形态学的滤波,Y代表数学形态学处理后的信号;xa0Y_i(m)=((X_iοK)·K)(m)xa0xa0xa0(1)xa0该计算过程可描述为:对X依此进行开操作腐蚀运算、膨胀运xa0算和闭操作的膨胀运算、腐蚀运算;开操作定义为对待处理信号先腐蚀后膨胀,与开操作相对应的闭操作定义为对待处理信号先膨胀后腐蚀,分别如(2)式、(3)式所示:xa0ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="700"/> ( X · K ) ( m ) = ( ( X ⊕ K ) ΘK ) ( m ) . - - - ( 3 ) ]]>S3.设定合适的阈值,提取各个阅读阶段对应的特征脉冲;该步骤主要包括:xa0S301.对平滑处理后的眼电信号,按照(4)式进行差分处理;选择合适差分时间窗长度,一般是根据要进行差分处理的数据中特征波形的持续时间来设定,在本实验过程中特征波形的持续时间一般在0.04s左右,综合考虑计算结果的准确性和计算量,将差分步幅可以设为0.035秒-0.045秒,本实施例中设置为0.04秒;xa0 D ( n ) = Σ m = 1 40 Y ( n + m + 40 ) - Σ m = 1 40 Y ( n + m ) ; - - - ( 4 ) ]]>S302.差分处理后的眼电信号数据中,绝对值最大者表示受试者进行换行操作时的眼球运动;通过设定合适的回视脉冲选取阈值以及扫视脉冲选取阈值可以找出变化幅度较大的回视脉冲和扫视脉冲;回视脉冲选取阈值的设定:一般情况下,眼球只需进行一次大的回视运动即可完成换行操作,但是存在眼球未能准确定位出下一行起始位置的情况,从而需要第二次微调性质的回视;第二次回视的脉冲一般较小因而可以忽略;所以为了避免提取到小的回视脉冲,回视脉冲选取阈值不能太小,而在存在多个回视脉冲的情况下为了将所有脉冲检出,回视脉冲选取阈值也不宜过大以免发生漏检的情况,一般设置范围为最大幅值所对应时刻的信号值的百分之十五到百分之三十五,本实施例中设为百分之二十五;扫视脉冲选取阈值的设定:在差分处理后的眼电信号数据中,与最大值方向相反的极值代表了眼球按顺序进行扫视时产生的扫视脉冲;由于扫视距离比回视距离短,所以不存在扫视目标不明确的情况,即不会发生微调xa0性质的小扫视运动,为了将所有的扫视脉冲检测出来,一般设置范围为最大幅值所对应时刻的信号值的相反数的百分之三到百分之十,本实施例中设定为最大幅值所对应时刻的信号值的相反数的百分之五时,基本上就能够将所有的扫视脉冲检测出来了;xa0S303.根据所述回视脉冲选取阈值以及扫视脉冲选取阈值从差分处理后的眼电信号中提取回视脉冲和其发生时刻以及扫视脉冲和其发生时刻。xa0S4.设定判断阈值;若相邻回视脉冲之间的扫视脉冲个数不小于所述判断阈值,则认为受试者处于阅读状态;判断阈值根据受试者的正常阅读情况设定,本实施例中,判读阈值为3,则若相邻回视脉冲之间的扫视脉冲个数不小于3,则认为受试者处于阅读状态。xa0图3-图5是基于眼电信号的阅读状态检测方法对三种阅读时眼动行为的检测统计图。其中,图3表示受试者在阅读时三种阅读行为的时间统计直方图,图4和图5分别表示受试者阅读时大幅值的回视和扫视两种眼动行为的幅度和次数统计结果。本发明的方法阅读检测准确率达到了75%,检测结果与受试个体主观报道基本相符。xa0实施例二xa0一种根据实施例一中的基于眼电信号的阅读状态识别方法的装置:xa0一种基于眼电信号的阅读状态识别装置,包括依次连接的眼电信号采集模块、眼电信号处理模块、特征脉冲提取模块以及阅读状态判断模块;眼电信号采集模块采集受试者的眼电信号并发送至眼电信号处理模块,眼电信号处理模块结合形态学算法对接收到的电信号处理模块进行平滑处理,特征脉冲提取模块首先对平滑处理后的眼电信号进行差分处理,然后从中提取各个阅读阶段对应的特征脉冲,阅读状态判断模块根据特征脉冲判读受试者是否处于阅读状态。xa0其中,眼电信号采集模块如图2中所示,包括分别设置于受试者眼部两侧的多个检测电极1、设置于受试者乳突位置的参考电极、设置于受试者额头的接地电极2以及分别向每个电极发送并口同步信号的上位机。xa0以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的保护范畴。xa0